ECHO: Efficient Cascade with Homogeneous Operators for Distillation-Guided 100K-Sequence Modeling
ECHO：蒸馏引导的高效级联超长序列建模
🧭 长序列用户行为建模 · 蒸馏级联检索 ★ 深度解读
Kuaishou Technology
蒸馏引导的用户级选择+目标感知检索，将100K长序列压缩至10K原始记录，在线计算量降160倍且GAUC提升
📌 工作参考价值（4 点）
- 用户级选择器离线写、在线只读固定K条记录：将100K原始历史压缩为10K原始事件记录，在线排序只对K条做目标感知检索，完全解耦在线计算与原始序列长度。适合电商/广告场景下用户长期行为超长、多候选排序的工程落地。
- 蒸馏监督替代简单的最近截断：用全历史教师的目标感知打分做软分布蒸馏，再加边界排序辅助损失，让选择器在用户级就保留目标相关的历史。可直接借鉴到召回/精排的长期行为筛选，尤其对长尾兴趣和稀疏反馈更友好。
- 教师、检索器、目标注意力共享Q/K参数：保证粗选和精排的相关性度量一致，避免两阶段不一致导致的召回损失。工程实现上可用 key-side projection absorption 省去历史向量投影缓存。
- 紧凑记录编码降低存储成本：按字段宽度打包而不是统一int64，100亿用户规模下可节省数百TB存储。对大规模推荐系统的用户行为存储设计有直接参考价值。